Từ cuối những năm 1950, Sakharov đã nhận thấy những vấn đề về đạo đức trong việc sử dụng các nghiên cứu của mình cho mục đích chính trị. Trong những năm 1960 ông tích cực chống việc phổ biến vũ khí hạt nhân. Hiệp định hạn chế thử vũ khí hạt nhân (PTBT) ký kết năm 1963 ở Moskva có dấu ấn quan trọng của Sakharov.

Năm 1967, ông vận động chấm dứt chạy đua chương trình tên lửa chống tên lửa đạn đạo nhưng không thành công. Tháng 5 năm 1968, một luận văn cổ xúy việc chung sống hòa bình, tiến bộ và tự do trí tuệ được Sakharov cho lưu hành dạng bản thảo rồi sau đó được xuất bản ở nước ngoài vào tháng 7 cùng năm, việc này khiến ông bị cấm tham gia vào các dự án quốc phòng, chỉ còn được nghiên cứu về lý thuyết.

Năm 1970, ông nằm trong ban sáng lập Ủy ban về nhân quyền ở Liên Xô, từ đó ông chịu nhiều sức ép từ phía chính quyền. Đặc biệt trong năm 1973 và 1974, ông và Solzhenitsyn bị truyền thông Liên Xô tấn công, bôi nhọ, một số ít dám lên tiếng bảo vệ 2 ông này đều bị "trừng phạt" thẳng tay.

Năm 1973, Sakharov được đề cử và năm 1975 ông được tặng giải Nobel Hoà bình (tuy ông không được phép rời Liên Xô để lãnh giải).

Tháng 1 năm 1980 ông bị chính quyền bắt giữ sau khi công khai chỉ trích hành động can thiệp vào Afghanistan năm 1979, và bị di cư đến thành phố Gorky (Nizhny Novgorod) nhằm cách li ông với các nhân vật nước ngoài, ở đây căn hộ của ông thường bị theo dõi lục soát và trộm cắp.

Năm 1984, nhân việc vợ ông cũng bị bắt vì lý do chính trị, Sakharov tuyên bố tuyệt thực để phản đối, yêu cầu chính quyền phải để Yelena đi Mĩ mổ tim. Ông bị đưa vào bệnh viện và buộc phải truyền thức ăn vào người. Tháng 8 năm 1984, Yelena bị tuyên án 5 tháng lưu đày ở Gorky. Tháng 4 năm 1985 ông lại tuyệt thực để yêu cầu cho vợ được đi Mĩ và lại nhập viện. Cuối cùng vợ ông cũng được cho đi Mĩ mổ tim và trở về Liên Xô tháng 6 năm 1986.

Tháng 3 năm 1989 Sakharov được bầu vào quốc hội mới, và đồng lãnh đạo một phái dân chủ đối lập.

Tối 14 tháng 12 năm 1989, Sakharov mất do một cơn đau tim trong phòng làm việc trong lúc chợp mắt trước khi viết diễn văn đọc trước quốc hội vào hôm sau. Ông được mai táng ở nghĩa trang Vostryakovskoye, Moskva.